package xijia.meilisearch.util;

import cn.hutool.core.collection.CollUtil;
import cn.hutool.extra.tokenizer.Result;
import cn.hutool.extra.tokenizer.TokenizerEngine;
import cn.hutool.extra.tokenizer.Word;

import java.util.Iterator;

public class TokenizerUtil {

    /**
     * 分词
     */
    public static String parse(String text) {
        //自动根据用户引入的分词库的jar来自动选择使用的引擎
        TokenizerEngine engine = cn.hutool.extra.tokenizer.TokenizerUtil.createEngine();
        Result result = engine.parse(text);
        //输出：这 两个 方法 的 区别 在于 返回 值
        return CollUtil.join((Iterator<Word>) result, " ");
    }

}
